查看原文
其他

AI一键抠图神器Segment Anything:万物皆可抠!

穿行者2049 今说新语 2024-04-14
揭开AI绘画的神秘面纱,深入探索AIGC的奥秘!
立即加入《AI绘画与AIGC实践之路》专栏,解锁更多精彩内容!
PBRemTools(精确背景去除工具)是一个 Stable Diffusion的WebUI 扩展,可以高精度地从单张图像中去除背景。

官方GitHub 页面: https://github.com/mattyamonaca/PBRemTools

以下是简单的安装和使用步骤:

1. 打开 Stable Diffusion web UI,切换到「扩展功能」页面,选择「从网址安装」。

2. 将扩展功能完整的 git 网址(即 https://github.com/mattyamonaca/PBRemTools)输入框中,然后点击「安装」按钮。安装完成后,可以在 stable-diffusion-webui\extensions\ 路径下看到名为 PBRemTools 的文件夹。

3. 切换到「已安装」页面,可以看到「PBRemTools」已经安装。在此页面上可以检查更新。点击「更新并重新启动用户界面」,接着将 Web UI 终端(小黑窗)关闭后重新启动,这样就成功启用该扩展功能了!

4. 「PBRemTools」在一个独立标签页中运行。只需将要去背的图像导入。

点击下方的「Submit」按钮,即可在右侧输出去除背景后的图像。

5. 此外,还可以查看输出的遮罩,黑色部分为移除的区块。

6. 在此建议将 cascadePSP 区块内的两个方块打勾,这样能加强去背后物体的边缘,并加速去背处理时间。

处理完的图像可以直接导出背景透明的PNG格式。


包括动漫人物在内,各种主题内容的图像都可以处理。

你应该注意到了,有些图像的局部细节处理的不够干净,很多被封闭区域有残余的背景,当然可以通过调节不同的参数,修改遮罩的范围,实现更精确的抠图。但是现在有了更好的解决方案,我们继续往下看。

这个插件本来是前阵子经常用的一个功能,但它只能扣取人像,对其他物体无法识别。但近几日Meta发布了Segment Anything模型,这个识别万物的模型让未来的抠图工作将变得无比轻松,而前面我们谈论的PBRemTools也迅速将Meta的这个模型功能加入到了插件中。

先看一下Meta已经公布的一个Segment Aanything体验版,我录了一个体验视频,感兴趣的可以去网站体验一下。

https://segment-anything.com/demo

接下来看一下这个插件如何使用新增的Segment anything模型实现抠图。

要使用它,必须手动添加 Segment Anything Model。
模型下载地址:https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth
安装路径:stable-diffusion-webui/extensions/PBRemTools/models
安装完后可以看到Segment anything选项,勾选enabled。
现在你就可以选择任意可识别的内容进行抠图了。
有两个参数需要调整:
clip_threshold:这个参数控制语意识别的范围,多大范围内的物体可以被识别出来。
mask content ratio:这个参数控制遮罩的强度。两个参数结合,就可以精确生成指定对象的遮罩,并抠图。
抠图并不是这个模型唯一的用途,既然这个模型可以识别任意内容,已经有开发者将其与Inpainting结合在了一起,可以直接通过语意选择Inpainting内容,然后在Inpainting范围内修图,实现真正意义上的动嘴修图。感兴趣的可以看以下网址:
https://github.com/camenduru/grounded-segment-anything-colab

我输入了提示语,识别T恤,可以看到程序精准检测出了T恤。

这个Colab目前提供了检测、识别、内绘三种模式,比以往的Pix2Pix,以及遮罩、Inpainting方法要简便精准,并且效率要高很多。所以AI技术的发展会使技术的使用越来越简单,但学习的迭代速度也越来越快。现在各种AI绘画培训班教的知识,可能过两天就用不上,有了更好的解决方案了。
不过也不用着急,我估计很快Segment Anything将同ControlNet一样,成为所有Stable DIffusion程序的标准配置,将极大提高图像编辑的准确性,提高图像编辑的效率。曾经介绍过的《AI绘画最强功能:动嘴改图详解,InstructPix2Pix实际应用》,都可以和新的Segment anything模型结合,涌现出更多更方便的编辑能力。

立即加入《AI绘画与AIGC实践之路》专栏
解锁更多精彩内容!


根据你的喜好,推荐阅读以下AI绘画内容:



公众号精选内容

基础入门 | 建筑室内 | 模型训练 | ChatGPT

StableDiffusion  |  Midjourney  |  进阶专栏

2023.3 | 2023.2 | 2022


☞三连击支持 点赞 + 在看 + 分享👇

继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存